Phase Transitions in Attention: A Bayesian Theory of Copy Head Emergence
注意力中的相变：复制头涌现的贝叶斯理论
🧭 Transformer 注意力机制训练动力学
Racah Institute of Physics, Hebrew University of Jerusalem · John A. Paulson School of Engineering and Applied Sciences, Harvard University · Institute for Advanced Simulation (IAS-6), Computational and Systems Neuroscience, Jülich Research Center · Institute of AI for Health, Helmholtz Munich · RWTH Aachen University
用贝叶斯框架证明 softmax 注意力在复制任务上随数据量出现一阶相变，解释了复制头的突然涌现
📌 工作参考价值（3 点）
- 主要是基础理论贡献，对电商/Agent/推荐系统的直接工程迁移有限。
- 理解 ICL 能力涌现的相变特性，可在训练 Agent 时监控注意力序参量，辅助决定数据投入与 checkpoint 选择。
- 线性注意力与 softmax 注意力的不同相变行为（二阶 vs 一阶）提示：若需要训练过程更平滑，可考虑线性注意力变体，但需权衡最终性能。